Elaboração de uma pré-testagem indireta1

Cristina Carvalho e Sibele Cazelli

SOCED/PUC-Rio

Introdução

        Os integrantes da pesquisa “Escolarização das elites", no momento, desenvolvem um survey cujo objetivo é o de estudar como se cruzam e combinam as influências familiares, sociais e escolares na formação acadêmica dos jovens pertencentes a escolas privadas de elite, visto que há pouco conhecimento sobre esse tema. Para a coleta de dados, elaborou-se um questionário estruturado da seguinte forma: questões semelhantes (quinze) às do questionário do aluno SAEB (8ª série do Ensino Fundamental), às do questionário do PISA (avaliação internacional de habilidades e conhecimentos de jovens de 15 anos que pretende examinar se os alunos adquiriram conhecimentos e habilidades essenciais para a participação efetiva na sociedade) e questões novas (fechadas e abertas) construídas pelos integrantes da equipe.

        No entanto, não foi possível executar uma das etapas apontadas como cruciais na pesquisa de survey, que é a pré-testagem do questionário. Conforme Babbie (1999), essa etapa está diretamente relacionada à população. Portanto, ao mudar a população torna-se necessário testar novamente. Como uma parcela das questões (quinze) do instrumento da pesquisa em foco é comum ao instrumento do SAEB, pré-testado, é possível realizar uma pré-testagem indireta, ou seja, selecionando um subconjunto de respondentes do SAEB que apresentam características que consideramos próximas àquelas dos respondentes da população escolhida para a nossa investigação (alunos da 8ª série de uma escola privada de elite).

O que diz Babbie sobre pré-testes e estudos-pilotos

        A pesquisa de survey é uma das ferramentas disponíveis para pesquisadores da área social. Babbie (1999) mostra que esse tipo de investigação não se resume a fazer perguntas e contar respostas, mas sim, utilizar técnicas específicas que se encaixam nas normas gerais da investigação. Vale destacar que o survey pode ser usado de forma bastante vantajosa e eficaz, principalmente quando combinado com outros métodos, por exemplo, entrevistas. Por ser uma pesquisa que exige altos investimentos em termos de recursos financeiros, além de equipes grandes e com experiência de trabalho, é crucial que se cumpram certas etapas, como o pré-teste e o estudo-piloto, inerentes a esse tipo de estudo com o intuito de minimizar possíveis riscos.

        Segundo esse autor, o pré-teste se refere ao teste inicial de aspectos do desenho da investigação, como por exemplo o questionário; enquanto estudo-piloto diz respeito ao exame em pequena escala de todo o desenho da pesquisa, ou seja, é o survey em miniatura. Portanto, pré-teste e estudo-piloto visam assegurar a criação de dados úteis.

        A finalidade do pré-teste, no contexto do survey, é bastante clara. Contudo, alguns pontos devem ser ressaltados: caso se queira pré-testar parte do questionário, é importante considerar que o contexto afeta sua recepção, portanto, o instrumento deve ser pré-testado tal como será usado na pesquisa; caso se queira utilizar respostas de uma pergunta aberta para compor itens de uma pergunta fechada, torna-se necessário pré-testar de novo. O fundamental é entender que o objetivo do pré-teste é melhorar o instrumento da pesquisa.

        No que concerne ao estudo-piloto, a coleta de dados será conduzida como uma versão em menor escala de um estudo completo, de modo a testar adequadamente os instrumentos e os procedimentos de coleta de dados e preparação da base de dados. Com relação aos instrumentos, esse tipo de teste objetivará responder perguntas, tais como: os itens do questionário produzem variância? Há itens que produzem dados faltantes em percentuais preocupantes? Os itens funcionam adequadamente nos diversos subgrupos da amostra? As respostas aos itens referendam os construtos priorizados?

Realizando a pré-testagem indireta

        Para realizar essa pré-testagem indireta, adotamos os seguintes procedimentos: para construir a base da nossa amostra, selecionamos um subconjunto de respondentes a partir de algumas variáveis da base do SAEB/99 (região, rede, estado civil, nº de filhos, você trabalha, nº de banheiros, nº de quartos, nº de tv a cores, nº de vídeo, nº de telefone’, nº de celular, nº de computador, nº de automóvel, empregada doméstica), visto que entendemos que a seleção desses itens seriam suficientes para caracterizar a nossa população, aproximando-a daquela do SAEB. Vale esclarecer que nossa população é composta de alunos de classe média alta, estudantes de 8ª série da rede privada de ensino, de uma escola católica localizada na zona sul da cidade do Rio de Janeiro.

        Na seqüência, utilizamos o Programa SPSS e a base de dados do SAEB/99. Por meio do recurso select case, selecionamos uma a uma as variáveis acima mencionadas para compor a base da nossa amostra, obtendo um total de 688 casos. Identificamos então as questões comuns aos dois questionários, com o intuito de verificar como a nossa população responderia a essas questões.

        A seguir, comentamos os resultados obtidos com o auxílio do recurso statistics frequencies para cada uma das questões comuns, possibilitando assim termos uma idéia daquilo que os alunos da nossa amostra responderiam (respostas simuladas). É importante assinalar que o percentual em destaque (negrito) corresponde à alternativa de resposta que mais se aproxima daquela que esperamos encontrar na nossa amostra:

  1. Pai mora com você?
  2.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 11257 10,3 10,3 10,3
    Sim 97909 89,7 89,7 100,0
    Total 109166 100,0 100,0  

            Analisando a coluna de percentagens válidas, é possível inferir que 90% ou mais dos alunos da nossa amostra responderão que moram com o pai.

  3. Mãe mora com você?
  4.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 1168 1,1 1,1 1,1
    Sim 107836 98,8 98,9 100,0
    Total 109005 99,9 100,0  
    Faltante Dados Faltantes 161 ,1    
    Total 109166 100,0    

            Analisando a coluna de percentagens válidas, é possível inferir que quase 100% dos alunos da nossa amostra responderão que moram com a mãe. Comparando o percentual da resposta desse item (98,9) com o da questão anterior (89,7), pode-se especular que no caso de separação dos pais, há uma tendência de que os filhos permaneçam com a mãe.

  5. Irmãos/Irmãs moram com você?
  6.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 9353 8,6 8,6 8,6
    Sim 107836 98,8 98,9 100,0
    Total 108912 99,8 100,0  
    Faltante Dados Faltantes 254 ,2    
    Total 109166 100,0    

            Analisando a coluna de percentagens válidas, é possível inferir que existe a possibilidade de obtermos um percentual menor na nossa amostra, tendo em vista que os nossos sujeitos pertencem a famílias de uma classe social com maior probabilidade de ter apenas um filho.

  7. Repetência
  8.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido ,00 95272 87,3 87,3 87,3
    1,00 10335 9,5 9,5 96,7
    2,00 3004 2,8 2,8 99,5
    3,00 398 ,4 ,4 99,9
    4,00 157 ,1 ,1 100,0
    Total  109166 100,0 100,0  

            Analisando a coluna de percentagem válida, é possível inferir que existe a possibilidade de obtermos um percentual maior na nossa amostra, uma vez que nossa pesquisa tem seu foco nas escolas de elite da rede privada que via de regra não admitem ou permitem apenas uma repetência.

  9. Cursos: Esporte
  10.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 38896 35,6 35,6 35,6
    Sim 70270 64,4 64,4 100,0
    Total 109166 100,0 100,0  

            Analisando a coluna de percentagem válida, é possível inferir que existe a probabilidade de que a nossa população apresente um percentual mais elevado porque as famílias podem custear esse tipo de atividade.

  11. Cursos: Línguas
  12.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 28762 26,3 26,3 26,3
    Sim 80404 73,7 73,7 100,0
    Total 109166 100,0 100,0  

            Analisando a coluna de percentagem válida, é possível inferir que existe a mesma probabilidade e justificativa apontadas no item anterior.

  13. Cursos: Computação
  14.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 95179 87,2 87,3 87,3
    Sim 13849 12,7 12,7 100,0
    Total 109028 99,9 100,0  
    Faltante Dados Faltantes 139 ,1    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta será maior do que o indicado, uma vez que a escola da nossa investigação oferece cursos de computação, além do fato de os alunos terem computador em suas residências e contarem com o apoio dos pais.

  15. Cursos: Música
  16.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 80018 73,3 73,5 73,5
    Sim 28849 26,4 26,5 100,0
    Total 108867 99,7 100,0  
    Faltante Dados Faltantes 299 ,3    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta será bem maior do que o indicado, uma vez que o indivíduos que compõem a nossa a mostra possuem um capital cultural herdado e um incentivo maior para buscar essa atividade.

  17. Cursos: Outros
  18.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 75898 69,5 70,0 70,0
    Sim 32498 29,8 30,0 100,0
    Total 108397 99,3 100,0  
    Faltante Dados Faltantes 770 ,7    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar em torno do indicado, visto que as opções apresentadas contemplam as possibilidades de cursos usuais nessa faixa etária.

  19. Agremiações: Grêmio Escolar
  20.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 100052 91,7 92,3 92,3
    Sim 8349 7,6 7,7 100,0
    Total 108401 99,3 100,0  
    Faltante Dados Faltantes 766 ,7    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar bem abaixo do indicado, pois a participação dos alunos da nossa amostra nas atividades promovidas por esse tipo de agremiação é mais freqüente.

  21. Agremiações: Assoc. desportiva
  22.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 94256 86,3 86,6 86,6
    Sim 14524 13,3 13,4 100,0
    Total 108780 99,6 100,0  
    Faltante Dados Faltantes 386 ,4    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que existe a mesma probabilidade e justificativa apontadas no item anterior.

  23. Agremiações: Assoc. moradores
  24.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 103807 95,1 95,5 95,5
    Sim 4939 4,5 4,5 100,0
    Total 108746 99,6 100,0  
    Faltante Dados Faltantes 421 ,4    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que existe a probabilidade de que o percentual apresente-se também alto para os alunos da nossa amostra. Acreditamos que a participação fique comprometida pelo pouco tempo que dispõem para freqüentar mais uma atividade promovida por esse tipo de agremiação.

  25. Agremiações: Movimento religioso
  26.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 103807 95,1 95,5 95,5/font>
    Sim 4939 4,5 4,5 100,0
    Total 108746 99,6 100,0  
    Faltante Dados Faltantes 421 ,4    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que a nossa amostra certamente apresentará um percentual maior de participação nas atividades organizadas por movimento religioso pelo fato de a escola da nossa amostra ser religiosa.

  27. Agremiações: Partido Político
  28.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido Não 105681 96,8 97,6 97,6
    Sim 2645 2,4 2,4 100,0
    Total 108326 99,2 100,0  
    Faltante Dados Faltantes 840 ,8    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar em torno do indicado. Dificilmente alunos dessa faixa etária participam de atividades promovidas por esse tipo de agremiação, salvo quando acompanham pais politizados e ativistas.

  29. Agremiações: ONG
  30.   Freqüência Percentual Percentual Válido Percentual Cumulativo
    Válido NÃO 10265 94,0 94,2 94,2
    Sim 6347 5,8 5,8 100,0
    Total 108911 99,8 100,0  
    Faltante Dados Faltantes 255 ,2    
    Total 109166 100,0    

            Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar em torno do indicado. Pode-se argumentar que é pouco provável que esse tipo de agremiação promova eventos nos quais participem alunos que compõem a nossa amostra, exceto no caso de eventos do tipo “Abraço à Lagoa".

            No que diz respeito aos dados faltantes, observa-se que nas tabelas acima, em todas as questões destacadas, o percentual correspondente é muito baixo, o que indica que as questões em foco foram elaboradas de forma satisfatória, ou seja, não há problemas no desenho do survey no que concerne ao questionário.

Algumas considerações

        A literatura específica informa que há razões para se considerar que pré-testes e estudos-piloto não são usados atualmente de forma adequada. Um dos motivos apontados é que pré-testar implica custos e tempo. No entanto, as restrições acabam por sinalizar que é possível um uso melhor desses métodos (Babbie, 1999).

        Cientes dos limites e das possibilidades de erros no trabalho por nós realizado, vale destacar a indicação assinalada pelo autor em questão da necessidade de se aproveitar qualquer oportunidade para pré-testar os distintos aspectos do desenho do estudo. Desse modo, a pré-testagem indireta realizada nesse trabalho exemplifica esse aproveitamento, uma vez que a análise do percentual de respostas das quinze questões do questionário SAEB/99 (aluno 8ª série), pré-testado e aplicado, que são comuns ao nosso instrumento (não pré-testado) indica a forma como a nossa amostra tende a se comportar em relação a essas questões. Se os percentuais de resposta da nossa população ficarem próximos daqueles da população do SAEB, é possível ter um outro tipo de indicativo, ou seja, se as questões comuns estão adequadas ou se deverão sofrer modificações parciais, ou mesmo, substituição.

        Analisando com mais detalhe os comentários dos quadros de freqüência dos quinze itens comuns, é possível supor que nas questões que envolve investimento financeiro por parte da família, como a prática de freqüentar curso extra-curricular (esporte, língua estrangeira, música), haverá a possibilidade de se obter um percentual mais elevado pelo fato de a nossa amostra pertencer a uma classe social de um poder aquisitivo elevado.

        Outro aspecto diz respeito à freqüência nas atividades promovidas por agremiações. Como os estudantes que compõem a nossa amostra estão matriculados em uma escola religiosa que apresenta forte engajamento em questões sociais que atingem a população de mais baixa renda residente nos arredores, fica evidente que o percentual indicativo da participação em ações organizadas pelo “movimento religioso" será significativamente mais elevado.

        Finalizando, vale ressaltar que, a realização desse tipo de análise proporciona uma entrada nas questões relativas aos métodos de pesquisa de survey, além de possibilitar um diálogo fértil com as questões da pesquisa ora citada, principalmente no que concerne à elaboração do instrumento (questionário).


1 Este texto foi construído ainda na primeira fase de aplicação dos questionários (2002); portanto, muito se avançou em termos de reestruturação dos instrumentos. Vale, contudo, tomar ciência de algumas etapas enquanto processo de aprendizagem.






Referência utilizada

BABBIE, E. Métodos de pesquisa de survey. Belo Horizonte: Ed. UFMG, 1999.